Diffie sinh tại Washington, D.C., là con trai của Justine Louise (Whitfield), một nhà văn và học giả, và Bailey Wallys Diffie, dạy lịch sử và văn hóa Iberia tại City College of New York.[4]

Anh quan tâm đến mật mã học từ "lúc 10 tuổi khi cha cậu, một giáo sư, mang về nhà một kệ trọn bộ mật mã của Thư viện City College ở New York."[4]

Ông đã có bằng cử nhân khoa học về toán học từ Học viện Công nghệ Massachusetts năm 1965. Từ năm 1965-1969, ông làm việc cho MITRE Corporation. Ông đã nghiên cứu ở Đại học Stanford. Ông nhận bằng tiến sĩ danh dự từ Học viện Công nghệ Liên bang Thụy Sĩ Zürich năm 1992.[5]